Self-Gating Attention for Efficient Time Series Forecasting
自门控注意力:高效时间序列预测
🧭 高效注意力机制 · 时序预测
提出即插即用的自门控注意力,以线性复杂度维持预测性能,避免冗余注意力计算。
📌 工作参考价值(4 点)
- 在推荐系统的用户行为序列建模中,可直接替换标准自注意力,省略 query/key 投影,显著降低长序列的计算和内存开销,适合高并发在线推理。
- 共享注意力矩阵 + 轻量残差的设计,可应对行为序列中常见的重复模式(如周期性、固定套路),对电商场景的点击序列预测有直接迁移价值。
- 即插即用特性允许快速集成到现有 Transformer 推荐模型(如 SASRec、BERT4Rec)中,仅需微小改动即可获得推理加速。
- 在边缘设备或资源受限推理环境下,SGA 能保持竞争力性能,适合部署在移动端推荐、实时出价等延迟敏感系统。